Federated Learning (FL) enables the training of Deep Learning models without centrally collecting possibly sensitive raw data. This paves the way for stronger privacy guarantees when building predictive models. The most used algorithms for FL are parameter-averaging based schemes (e.g., Federated Averaging) that, however, have well known limits: (i) Clients must implement the same model architecture; (ii) Transmitting model weights and model updates implies high communication cost, which scales up with the number of model parameters; (iii) In presence of non-IID data distributions, parameter-averaging aggregation schemes perform poorly due to client model drifts. Federated adaptations of regular Knowledge Distillation (KD) can solve and/or mitigate the weaknesses of parameter-averaging FL algorithms while possibly introducing other trade-offs. In this article, we provide a review of KD-based algorithms tailored for specific FL issues.

We present a smoothly broken power law functional form that accurately models and extrapolates the scaling behaviors of deep neural networks (i.e. how the evaluation metric of interest varies as the amount of compute used for training, number of model parameters, training dataset size, or upstream performance varies) for each task within a large and diverse set of upstream and downstream tasks, in zero-shot, prompted, and fine-tuned settings. This set includes large-scale vision and unsupervised language tasks, diffusion generative modeling of images, arithmetic, and reinforcement learning. When compared to other functional forms for neural scaling behavior, this functional form yields extrapolations of scaling behavior that are considerably more accurate on this set. Moreover, this functional form accurately models and extrapolates scaling behavior that other functional forms are incapable of expressing such as the non-monotonic transitions present in the scaling behavior of phenomena such as double descent and the delayed, sharp inflection points present in the scaling behavior of tasks such as arithmetic. Lastly, we use this functional form to glean insights about the limit of the predictability of scaling behavior. Code is available at https://github.com/ethancaballero/broken_neural_scaling_laws

已知应用于任务序列的标准梯度下降算法可在深层神经网络中产生灾难性遗忘。当对序列中的新任务进行培训时，该模型会在当前任务上更新其参数，从而忘记过去的知识。本文探讨了我们在有限环境中扩展任务数量的方案。这些方案由与重复数据的长期任务组成。我们表明，在这种情况下，随机梯度下降可以学习，进步并融合到根据现有文献需要持续学习算法的解决方案。换句话说，我们表明该模型在没有特定的记忆机制的情况下执行知识保留和积累。我们提出了一个新的实验框架，即Scole（缩放量表），以研究在潜在无限序列中的知识保留和算法的积累。为了探索此设置，我们对1,000个任务的序列进行了大量实验，以更好地了解这种新的设置家庭。我们还提出了对香草随机梯度下降的轻微修改，以促进这种情况下的持续学习。 SCOLE框架代表了对实用训练环境的良好模拟，并允许长序列研究收敛行为。我们的实验表明，在短方案上以前的结果不能总是推断为更长的场景。

大规模预训练的快速开发导致基础模型可以充当各种下游任务和领域的有效提取器。在此激励的情况下，我们研究了预训练的视觉模型的功效，作为下游持续学习（CL）场景的基础。我们的目标是双重的。首先，我们想了解RAW-DATA空间中CL和预训练编码器的潜在空间之间CL之间的计算准确性权衡。其次，我们研究编码器的特征，训练算法和数据以及所得的潜在空间如何影响CL性能。为此，我们将各种预训练的模型在大规模基准测试方案中的功效与在潜在和原始数据空间中应用的香草重播设置的功效。值得注意的是，这项研究表明了转移，遗忘，任务相似性和学习如何取决于输入数据特征，而不一定取决于CL算法。首先，我们表明，在某些情况下，通过可忽略的计算中的非参数分类器可以很容易地实现合理的CL性能。然后，我们展示模型如何在更广泛的数据上进行预训练，从而为各种重播大小提供更好的性能。我们以这些表示形式的代表性相似性和传递属性来解释这一点。最后，与训练域相比，我们显示了自我监督预训练对下游域的有效性。我们指出并验证了几个研究方向，这些方向可以进一步提高潜在CL的功效，包括表示结合。本研究中使用的各种数据集可以用作进一步CL研究的计算效率游乐场。该代码库可在https://github.com/oleksost/latent_cl下获得。

由政策引起的马尔可夫链的混合时间限制了现实世界持续学习场景中的性能。然而，混合时间对持续增强学习学习（RL）的影响仍然是曝光率。在本文中，我们表征了长期兴趣的问题，以通过混合时间调用可扩展的MDP来发展持续的RL。特别是，我们建立可扩展的MDP具有与问题的大小相等的混合时间。我们继续证明，多项式混合时间对现有方法产生显着困难，并提出了一种基于模型的算法，通过新颖的引导程序直接优化平均奖励来加速学习。最后，我们对我们提出的方法进行了实证遗憾分析，展示了对基线的清晰改进，以及如何使用可缩放的MDP来分析RL算法作为混合时间规模。

持续学习领域（CL）寻求开发通过与非静止环境的交互累积随时间累积知识和技能的算法。在实践中，存在一种夸张的评估程序和算法解决方案（方法），每个潜在的潜在不相交的假设集。这种品种使得在CL困难中进行了衡量进展。我们提出了一种设置的分类，其中每个设置被描述为一组假设。从这个视图中出现了一棵树形的层次结构，更多的一般环境成为具有更严格假设的人的父母。这使得可以使用继承来共享和重用研究，因为开发给定设置的方法也使其直接适用于其任何孩子。我们将此想法实例化为名为SequoIa的公开软件框架，其特征来自持续监督学习（CSL）和持续加强学习（CRL）域的各种环境。除了来自外部图书馆的更专业的方法之外，SemoIa还包括一种易于延伸和定制的不断增长的方法。我们希望这一新的范式及其第一个实施可以帮助统一和加速CL的研究。您可以通过访问github.com/lebrice/squia来帮助我们长大树。

小波散射变换创造了几何不变和变形稳定性。在多个信号域中，与其他非学习表示形式相比，它可以产生更多的判别性表示，并且在某些任务中，尤其是在有限的标记数据和高度结构化的信号中，它都超越了学习的表示。通常选择散射转换中使用的小波过滤器，以通过参数化的母小波创建紧密的框架。在这项工作中，我们研究了这种标准的小波滤网构造是否最佳。为了关注Morlet小波，我们建议学习过滤器的量表，方向和纵横比，以产生散射变换的特定问题参数化。我们表明，我们学到的散射转换版本在标准散射变换上在小样本分类设置中产生了显着的性能增长。此外，我们的经验结果表明，传统的滤纸结构对于提取有效表示的散射转换可能并不总是必要的。

我们研究深度神经网络中不同的输出层如何学习并忘记在持续的学习环境中。以下三个因素可能会影响输出层中的灾难性忘记：（1）权重修改，（2）干扰和（3）投影漂移。在本文中，我们的目标是提供更多关于如何改变输出层可以解决（1）和（2）的洞察。在几个连续学习情景中提出并评估了这些问题的一些潜在解决方案。我们表明，最佳执行类型的输出层取决于数据分布漂移和/或可用数据量。特别地，在某些情况下，在某些情况下，标准线性层将失败，结果改变参数化是足够的，以便实现显着更好的性能，从而引入持续学习算法，而是使用标准SGD训练模型。我们的分析和结果在连续学习场景中输出层动态的阐明，并表明了一种选择给定场景的最佳输出层的方法。

经典的机器学习算法通常假设绘制数据是i.i.d的。来自固定概率分布。最近，持续学习成为机器学习的快速增长领域，在该领域中，该假设放松，即数据分布是非平稳的，并且随着时间的推移而变化。本文通过上下文变量$ c $表示数据分布的状态。 $ c $的漂移导致数据分布漂移。上下文漂移可能会改变目标分布，输入分布或两者兼而有之。此外，分布漂移可能是突然的或逐渐的。在持续学习中，环境漂移可能会干扰学习过程并擦除以前学习的知识。因此，持续学习算法必须包括处理此类漂移的专业机制。在本文中，我们旨在识别和分类不同类型的上下文漂移和潜在的假设，以更好地表征各种持续学习的场景。此外，我们建议使用分布漂移框架来提供对连续学习领域常用的几个术语的更精确的定义。

已知神经网络容易受到对抗性攻击的影响 - 轻微但精心构建的输入扰动，这会造成巨大损害网络的性能。已经提出了许多防御方法来通过培训对抗对抗扰动的投入来改善深网络的稳健性。然而，这些模型通常仍然容易受到在训练期间没有看到的新类型的攻击，甚至在以前看到的攻击中稍微强大。在这项工作中，我们提出了一种新的对抗性稳健性的方法，这在域适应领域的见解中建立了洞察力。我们的方法称为对抗性特征脱敏（AFD），目的是学习功能，这些特征是不变的对输入的对抗扰动。这是通过游戏实现的，我们学习了预测和鲁棒（对对抗性攻击不敏感）的特征，即不能用于区分自然和对抗数据。若干基准测试的经验结果证明了提出的方法对广泛的攻击类型和攻击优势的有效性。我们的代码可在https://github.com/bashivanlab/afd获得。